Flink功能发布记录（2024年7月22日）_实时计算 Flink版(Flink)-阿里云帮助中心

本文为您介绍2024年7月22日发布的实时计算Flink版的重大功能变更和主要缺陷修复。

重要

本次升级计划在全网分步骤完成灰度，具体升级计划，请关注实时计算控制台页面右侧的最新公告。如果您不能使用相关新功能，说明您的账号暂未完成灰度。如果您需要尽快升级，请提交工单告知我们，我们将结合实际情况进行安排。

概述

2024年7月22日，我们正式对外发布实时计算Flink版新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。

平台侧

本次平台功能更新我们聚焦于提升您的使用体验和系统稳定性，同时增强安全性和运维效率。以下是本次更新的主要亮点：

支持全托管存储：我们在OSS Bucket的存储基础上，新增支持全托管存储。全托管存储可以确保所有Flink作业使用和依赖的数据（例如作业系统检查点、作业快照、日志和JAR包等）存储都由平台统一管理，从而提高数据的安全性和可靠性，确保即使在高负载情况下，Flink作业也能保持稳定运行。
重要
- 目前全托管存储处于公测阶段，公测期内存储资源不收费，详情请参见Flink全托管存储公测。
- 目前仅北京、上海、杭州和深圳地域逐步开放全托管存储。
支持自定义角色以及细粒度权限：支持添加自定义角色，使您能够根据实际业务需求灵活定义角色和权限点，并为这些角色分配细粒度的权限，以满足不同团队和个人的特定访问需求，增强权限管理灵活性以及作业操作安全性。
开发运维效率提升：优化作业详情和作业资源配置界面，展示更加清晰易懂；支持界面化创建MaxCompute Catalog，帮助您更快地配置和管理Flink作业，提升数据管理和开发效率。

引擎侧

引擎侧正式对外发布VVR 8.0.8，该版本是基于Apache Flink 1.17.2的企业级Flink引擎，主要包含以下变更：

在连接器方面，对于实时构建Elasticsearch索引的场景，Elasticsearch连接器支持配置收到回撤类型消息时的行为，同时放宽了queryMaxdocs的限制；对于构建实时数仓的场景，Hologres连接器支持为列设置不同删除策略；SLS连接器支持latest和earliest消费模式；MySQL连接器支持指定RDS Endpoint。
在SQL方面，新增URL_DECODE和URL_ENCODE内置函数。
在性能提升方面，提升了Paimon维表关联的性能，优化了MySQL CDC全增量写入Hologres的速度，提升了MaxCompute源表读取速度并优化写入对集群的压力。
在安全方面，在作业总览的拓扑图中对密码进行了加密处理，确保敏感信息的安全。

该版本主要特性详情及相关文档详见下方表格，我们将在全网进行分步骤的灰度，灰度完毕后，欢迎您将作业使用的引擎升级至此版本，具体操作请参见作业引擎版本升级。期待您的使用体验反馈！

主要功能介绍

特性	详情	相关文档
支持存储全托管	全托管存储可以有效避免误操作或配置策略对绑定OSS Bucket产生影响导致的Flink作业读写异常，有效提升作业稳定性，支持同城冗余。重要目前全托管存储处于公测阶段，公测期内存储资源不收费，详情请参见Flink全托管存储公测。目前仅北京、上海、杭州和深圳地域逐步开放全托管存储。	开通实时计算Flink版资源管理
支持创建自定义角色	支持根据实际业务需求灵活定义角色以及配置细粒度的权限，增强权限管理的灵活性以及作业操作的安全性。	项目空间授权
优化作业详情界面	在状态总览页签操作栏的作业详情中，可以查看您配置的作业启动参数信息。	无。
优化资源配置界面	在部署详情页签资源配置区域会提示资源配置的最大值。	无。
Elasticsearch连接器能力增强	提升Elasticsearch维表Join查询的性能，放宽了queryMaxdocs的限制，允许返回更多数据，以适应大数据量维表查询需求。支持配置收到回撤类型消息时的行为。	Elasticsearch
SLS连接器支持设置源表启动模式。	源表可以从最新位点或最早位点开始消费SLS数据。	日志服务SLS
PyFlink Docker镜像升级	升级PyFlink的基础Docker镜像，提高了对不同Python版本和glibc版本的兼容性。	不涉及
新增URL_DECODE和URL_ENCODE内置函数	提供了URL编码和解码的内置函数，方便您使用。	URL_DECODE URL_ENCODE
MySQL连接器支持指定RDS Endpoint	提供MySQL CDC读取OSS上Binlog归档日志的功能。	MySQL
Hologres连接器支持局部更新	Hologres连接器支持为列设置不同删除策略，例如删除整行或者将非主键字段设置为Null，后者适用于局部更新操作在执行删除操作时不影响其他列的场景。	实时数仓Hologres
LookupJoin支持自定义Partitioner	支持配置维表连接时的Shuffle策略，可以有效提高数据处理效率。	维表JOIN语句
MaxCompute连接器能力增强	MaxCompute支持使用Arrow接口读取数据，并允许动态分配分片，提升整体读取性能。	大数据计算服务MaxCompute

主要缺陷修复

修复了Paimon部分更新时多个流写同一表冲突的问题。
修复了MySQL CDC在解析大量Binlog时可能发生OOM的问题，现在会抛出异常并触发作业Failover，而不是静默重试。
优化了GeminiStateBackend相关OOM异常的处理，现在会抛出异常并触发作业Failover，而不是静默重试。
修复了RocketMQ连接器消费状态无法在RocketMQ控制台正常显示的问题。
修复了Hologres连接器源表在有状态启动时因表结构变更（例如TRUNCATE操作）导致的快照恢复失败问题。
修复了StarRocks连接器java.lang.NoClassDefFoundError: StringUtils错误。
修复了Apache Flink 1.17.2版本的所有缺陷，详情请参见Apache Flink 1.17.2 Release Announcement。